表结构识别是文档图像分析域的关键部分。它的困难在于需要同时解析每个单元的物理坐标和逻辑指标。但是，现有的方法很难实现这两个目标，尤其是当表分裂线被模糊或倾斜时。在本文中，我们提出了一种基于端到端变压器的表面结构识别方法，称为信任。变压器由于其全局计算，完美的内存和并行计算而适合表结构识别。通过引入基于新型变压器基于查询的新型分裂模块和基于顶点的合并模块，表结构识别问题被脱钩到两个关节优化子任务中：多面向的表行/列分拆分和表格格里合并。基于查询的拆分模块通过变压器网络从长期依赖项中学习了强烈的上下文信息，准确预测了多个面向的表行/列分离器，并相应地获得了表的基本网格。基于顶点的合并模块能够在相邻的基本网格之间汇总局部上下文信息，从而能够合并准确属于同一跨越单元的基本束。我们对包括PubTabnet和Connthtable在内的几个流行基准进行实验，我们的方法实现了新的最新结果。特别是，信任在PubTabnet上以10 fps的速度运行，超过了先前的方法。

图形神经网络（GNN）代表了在图形结构上运行的深度学习模型的新兴线路。由于其在许多与图形相关任务中实现的高精度，它变得越来越受欢迎。然而，在系统和建筑社区中，GNN在系统和建筑社区中不太了解，作为其对应物，例如多层的感知和卷积神经网络。这项工作试图向我们的社区介绍GNN。与仅呈现GCNS的特征的事先工作相比，我们的工作基于一般GNN描述框架覆盖GNN工作负载的大部分品种。通过构建两个广泛使用的库之上的模型，我们在有关通用和特定于应用程序的架构的推理阶段的特征在于GNN计算，希望我们的工作能够促进更多的系统和建筑研究GNN。

With the ever-growing model size and the limited availability of labeled training data, transfer learning has become an increasingly popular approach in many science and engineering domains. For classification problems, this work delves into the mystery of transfer learning through an intriguing phenomenon termed neural collapse (NC), where the last-layer features and classifiers of learned deep networks satisfy: (i) the within-class variability of the features collapses to zero, and (ii) the between-class feature means are maximally and equally separated. Through the lens of NC, our findings for transfer learning are the following: (i) when pre-training models, preventing intra-class variability collapse (to a certain extent) better preserves the intrinsic structures of the input data, so that it leads to better model transferability; (ii) when fine-tuning models on downstream tasks, obtaining features with more NC on downstream data results in better test accuracy on the given task. The above results not only demystify many widely used heuristics in model pre-training (e.g., data augmentation, projection head, self-supervised learning), but also leads to more efficient and principled fine-tuning method on downstream tasks that we demonstrate through extensive experimental results.

The past few years have seen rapid progress in combining reinforcement learning (RL) with deep learning. Various breakthroughs ranging from games to robotics have spurred the interest in designing sophisticated RL algorithms and systems. However, the prevailing workflow in RL is to learn tabula rasa, which may incur computational inefficiency. This precludes continuous deployment of RL algorithms and potentially excludes researchers without large-scale computing resources. In many other areas of machine learning, the pretraining paradigm has shown to be effective in acquiring transferable knowledge, which can be utilized for a variety of downstream tasks. Recently, we saw a surge of interest in Pretraining for Deep RL with promising results. However, much of the research has been based on different experimental settings. Due to the nature of RL, pretraining in this field is faced with unique challenges and hence requires new design principles. In this survey, we seek to systematically review existing works in pretraining for deep reinforcement learning, provide a taxonomy of these methods, discuss each sub-field, and bring attention to open problems and future directions.

标记医学图像取决于专业知识，因此很难在短时间内以高质量获取大量注释的医学图像。因此，在小型数据集中充分利用有限标记的样品来构建高性能模型是医疗图像分类问题的关键。在本文中，我们提出了一个深入监督的层选择性注意网络（LSANET），该网络全面使用功能级和预测级监督中的标签信息。对于特征级别的监督，为了更好地融合低级功能和高级功能，我们提出了一个新颖的视觉注意模块，层选择性注意（LSA），以专注于不同层的特征选择。 LSA引入了一种权重分配方案，该方案可以在整个训练过程中动态调整每个辅助分支的加权因子，以进一步增强深入监督的学习并确保其概括。对于预测级的监督，我们采用知识协同策略，通过成对知识匹配来促进所有监督分支之间的层次信息互动。使用公共数据集MedMnist，这是用于涵盖多种医学专业的生物医学图像分类的大规模基准，我们评估了LSANET在多个主流CNN体系结构和各种视觉注意模块上评估。实验结果表明，我们所提出的方法对其相应的对应物进行了实质性改进，这表明LSANET可以为医学图像分类领域的标签有效学习提供有希望的解决方案。

在本文中，我们研究了从许多嘈杂的随机线性测量值中恢复低级别基质的问题。我们考虑以下设置的设置，即基地矩阵的等级是未知的，并使用矩阵变量的过度指定的分组表示，其中全局最佳解决方案过拟合，并且与基础基础真相不符。然后，我们使用梯度下降和小的随机初始化解决了相关的非凸问题。我们表明，只要测量运算符能够满足受限的等轴测特性（RIP），其等级参数缩放具有地面真相矩阵等级，而不是使用过度指定的矩阵变量进行缩放，那么梯度下降迭代就会在特定的轨迹上朝向地面。 - 正确矩阵并在适当停止时获得了几乎信息理论上的最佳恢复。然后，我们提出了一种基于共同持有方法的有效的早期停止策略，并表明它可以检测到几乎最佳的估计量。此外，实验表明，所提出的验证方法也可以有效地用于图像恢复，并具有深层图像先验，从而使图像过度参与了深层网络。

当训练过度参数化的深网以进行分类任务时，已经广泛观察到，学到的功能表现出所谓的“神经崩溃”现象。更具体地说，对于倒数第二层的输出特征，对于每个类，课堂内特征会收敛到其平均值，而不同类别的手段表现出一定的紧密框架结构，这也与最后一层的分类器对齐。由于最后一层的特征归一化成为现代表示学习中的一种常见实践，因此，在这项工作中，我们从理论上证明了归一化特征的神经崩溃现象是合理的。基于不受约束的特征模型，我们通过限制球体上的所有特征和分类器来简化多级分类任务中的经验损失函数。在这种情况下，我们分析了riemannian优化问题在球体的产物上的非概念景观，从而显示出良性的全球景观，因为唯一的全球最小化器是神经崩溃的解决方案，而所有其他关键点是严格的鞍座。实用深网的实验结果证实了我们的理论，并证明可以通过特征归一化更快地学习更好的表示。

基于DNN的框架插值从两个连续的帧中生成中间帧，通常取决于具有大量功能的模型体系结构，从而阻止其在具有有限资源的系统（例如移动设备）上部署。我们提出了一种用于框架插值的压缩驱动的网络设计，该设计通过稀疏性诱导优化来利用模型，以大大降低模型大小，同时达到更高的性能。具体而言，我们首先压缩了最近提出的ADACOF模型，并证明了10次压缩ADACOF的性能类似于其原始对应物，在各种超参数设置下，对使用layerwise稀疏信息作为指导的不同策略进行了全面研究。然后，我们通过引入一个多分辨率翘曲模块来增强这种压缩模型，从而提高了视觉一致性，并通过多层次的细节来提高视觉一致性。结果，我们通过原始AdaCof的四分之一获得了可观的性能增长。此外，我们的模型在各种数据集上对其他最先进的方法都表现出色。我们注意到，建议的压缩驱动框​​架是通用的，可以轻松地传输到其他基于DNN的框架插值算法中。源代码可在https://github.com/tding1/cdfi上获得。

基于匹配的方法，尤其是基于时空记忆的方法，在半监督视频对象分割（VOS）中明显领先于其他解决方案。但是，不断增长和冗余的模板特征导致推断效率低下。为了减轻这一点，我们提出了一个新型的顺序加权期望最大化（SWEM）网络，以大大降低记忆特征的冗余。与以前仅检测帧之间特征冗余的方法不同，Swem通过利用顺序加权EM算法来合并框架内和框架间的相似特征。此外，框架特征的自适应权重具有代表硬样品的灵活性，从而改善了模板的歧视。此外，该提出的方法在内存中保留了固定数量的模板特征，从而确保了VOS系统的稳定推理复杂性。对常用的戴维斯和YouTube-VOS数据集进行了广泛的实验，验证了SWEM的高效率（36 fps）和高性能（84.3 \％$ \ Mathcal {J} \＆\ Mathcal {F} $代码可在以下网址获得：https：//github.com/lmm077/swem。

随着对话建议的最新进展，推荐系统能够通过对话互动积极而动态地引起用户偏好。为此，系统会定期查询用户对属性的偏好并收集其反馈。但是，大多数现有的对话推荐系统仅使用户能够提供对属性的绝对反馈。实际上，绝对反馈通常受到限制，因为用户在表达偏好时倾向于提供偏见的反馈。取而代之的是，由于用户偏好是固有的相对，因此用户通常更倾向于表达比较偏好。为了使用户能够在对话互动期间提供比较偏好，我们提出了一种基于比较的对话推荐系统。相对反馈虽然更实用，但并不容易合并，因为其反馈量表总是与用户的绝对偏好不匹配。通过有效地收集和了解交互式方式的相对反馈，我们进一步提出了一种新的Bandit算法，我们称之为RelativeConucb。与对话式推荐系统中的现有Bandit算法相比，合成和现实数据集的实验验证了我们提出的方法的优势。